LLMCodec: Adapting Video Codecs for Efficient Weight Compression of Large Language Models
LLMCodec: 用视频编解码器高效压缩大模型权重
🧭 模型压缩 · 仿射量化与视频编码
Shanghai Jiao Tong University
将视频编解码器VVC/H.266与仿射量化结合，无需微调即可高压缩LLM权重，显著降低困惑度并提升下游精度
📌 工作参考价值（4 点）
- 权重压缩方法可直接用于电商推荐模型部署，在边缘设备或带宽受限场景下降低模型体积和传输成本
- 视频编解码器对矩阵数据的结构化压缩思路可迁移到推荐系统Embedding表的压缩，利用现有硬件编解码加速
- 无需校准数据或微调的压缩流程适合在线学习场景，模型更新后无需重新校准即可快速压缩发布
- 2-bit极限压缩下仍保持较低困惑度，为Agent场景中的轻量化LLM本地部署提供新的压缩方案